Supervised learning on graphs of spatio-temporal similarity in satellite image sequences

High resolution satellite image sequences are multidimensional signals composed of spatiotemporal patterns associated to numerous and various phenomena. Bayesian methods have been previously proposed in [8] to code the information contained in satellite image sequences in a graph representation using Bayesian methods. Based on such a representation, this paper further presents a supervised learning methodology of semantics associated to spatio-temporal patterns occurring in satellite image sequences. It enables the recognition and the probabilistic retrieval of similar events. Indeed, graphs are attached to statistical models for spatio-temporal processes, which at their turn describe physical changes in the observed scene. Therefore, we adjust a parametric model evaluating similarity types between graph patterns in order to represent user-specific semantics attached to spatio-temporal phenomena. The learning step is performed by the incremental definition of similarity types via user-provided spatio-temporal pattern examples attached to positive or/and negative semantics. From these examples, probabilities are inferred using a Bayesian network and a Dirichlet model. This enables to links user interest to a specific similarity model between graph patterns. According to the current state of learning, semantic posterior probabilities are updated for all possible graph patterns so that similar spatio-temporal phenomena can be recognized and retrieved from the image sequence. Few experiments performed on a multi-spectral SPOT image sequence illustrate the proposed spatio-temporal recognition method. Key-words: Pattern recognition; supervised learning, spatio-temporal phenomena, graph similarity; bayesian networks; Dirichlet model Apprentissage supervisé sur des graphes de similarité spatio-temporelle dans les séquences d’images satellites Résumé : Les séquences d’images satellites de haute résolution sont des signaux multidimensionnels composés de motifs spatio-temporels associés à des phénomènes nombreux et variés. Des méthodes bayésiennes ont été précédemment proposées dans [8] pour coder l’information contenue dans les séquences d’image satellitaire sous forme de graphes. Basé sur une telle représentation, ce papier présente une méthode d’apprentissage supervisé de sémantiques associées aux motifs spatio-temporels de ces séquences d’images. Cela permet la reconnaissance et la recherche probabiliste de phénomènes similaires. En effet, les graphes représentent des modèles statistiques de processus spatio-temporels, qui permettent de décrire des changements physiques observés dans la scène. En conséquence, par apprentissage supervisé, un modèle paramétrique évaluant les types de similarité entre motifs de graphes est ajusté pour représenter les sémantiques associées à ces phénomènes spatio-temporels. L’apprentissage est effectué par la définition incrémentale de types de similarités via des exemples fournis par l’utilsateur de motifs associés à des sémantiques positives ou/et négatives. A partir de ces exemples, des probabilités sont déduites par l’utilisation d’un réseau bayésien et d’un modèle de Dirichlet. Ces probabilits permettent de relier l’intérêt de l’utilisateur à un modèle de similarité spécifique entre motifs de graphe. A chaque stade d’apprentissage, les probabilités a posteriori sont actualisées pour l’ensemble des motifs de graphe possibles afin que les phénomènes spatio-temporels puissent être reconnus et retrouvés dans la séquence d’image. Quelques expériences efffectuées sur une séquence multi-spectral d’images SPOT illustrent la méthode de reconnaissance spatio-temporelle proposée. Mots-clés : Reconnaissance de forme, apprentissage supervisé, phénomènes spatio-temporels; similarité de graphes; réseaux bayésiens; modèle de Dirichlet Supervised learning on graphs of spatio-temporal similarity in satellite image sequences 3